予測符号化(Predictive Coding:PC)
トップダウン(Top-Down)
の
予測(Prediction)
と
ボトムアップ(Bottom-Up)
の感覚入力のエラーを利用して学習する双方向結合を持つネットワーク
予測可能な感覚入力はエラーを生じさせないので、学習が進むにつれてエネルギー効率が良くなるというメリットがある
シナプス前後の活動に基づくlocalな学習が可能であり、生物学的な妥当性がある点でも注目されている
https://youtu.be/lWOxUpS_M_c
元ネタ
Predictive coding in the visual cortex: a functional interpretation of some extra-classical receptive-field effects | Nature Neuroscience (1999)
生物の脳との関連について
Predictive Processing: A Canonical Cortical Computation | Neuron (2018)
Canonical Microcircuits for Predictive Coding | Neuron (2012)
Predictive Coding: a Theoretical and Experimental Review | arXiv (2022)
Evaluating the neurophysiological evidence for predictive processing as a model of perception | Annals of the new York Academy of Sciences (2020)
SpikingNeuralNetwork; SNN
への拡張
元ネタは
rate coding
を仮定してるが、神経細胞は
スパイク(Spike)
を使っている
Predictive Coding with Spiking Neural Networks: a Survey | arxiv (2024)
自由エネルギー原理(Free Energy Principle; FEP)
MAP推定から不確実性を考慮したベイズ推論へ拡張
The free-energy principle: a unified brain theory?
hl.icon
ホップフィールドネットワーク(Hopfield Network)
Neurocomputing(Technische Universität Chemnitz)
皮質における予測誤差表現について
#2023/6/15